John McCarthy được sinh ra tại Boston, Massachusetts, vào ngày 4 tháng 9 năm 1927, có cha là người nhập cư là người Ailen và mẹ là người nhập cư Do Thái gốc Litva,[4] John Patrick và Ida Glatt McCarthy. Gia đình buộc phải di dời thường xuyên trong cuộc Đại khủng hoảng, cho đến khi cha của McCarthy tìm được công việc, làm nhà tổ chức cho Công nhân Quần áo hỗn hợp ở Los Angeles, California. Cha anh đến từ làng chài Cromane ở County Kerry, Ireland.[5] Mẹ ông mất năm 1957.[6]

McCarthy thông minh xuất chúng, và tốt nghiệp trường trung học Belmont sớm hai năm.[7] McCarthy được chấp nhận vào Caltech vào năm 1944.

McCarthy cho thấy năng khiếu sớm về toán học; khi còn ở tuổi thiếu niên, ông đã tự học toán đại học bằng cách nghiên cứu các sách giáo khoa được sử dụng tại Viện Công nghệ California (Caltech) gần đó. Kết quả là ông đã có thể bỏ qua hai năm đầu tiên của học tại học toán Caltech.[8] McCarthy đã bị đình chỉ từ Caltech vì không tham gia các khóa học giáo dục thể chất.[9] Sau đó, ông phục vụ trong Quân đội Hoa Kỳ và được nhận lại, nhận bằng Cử nhân toán học năm 1948.[10]

Chính tại Caltech, ông đã tham dự một bài giảng của John von Neumann chính bài giảng này đã truyền cảm hứng cho những nỗ lực của ông trong tương lai.

McCarthy khởi đầu bằng việc hoàn thành nghiên cứu sau đại học tại Caltech trước khi chuyển đến Đại học Princeton. Ông đã nhận được bằng tiến sĩ. trong toán học từ tổ chức vào năm 1951 khi còn là học sinh của Solomon Lefschetz.